Ban đầu (theo Quy định năm 1923, Hiến pháp và Nghị định năm 1924), Tòa án tối cao Liên Xô có cấu trúc như sau:

• Hội nghị toàn thể
• Hội đồng Tòa án Dân sự và Tòa án Hình sự
• Hội đồng Quân sự và Vận tải Quân sự

Tòa án Tối cao cũng có quyền tạo ra các phiên tòa xét xử đặc biệt để xem xét các vụ án hình sự và dân sự có tầm quan trọng đặc biệt, ảnh hưởng đến hai hoặc nhiều nước cộng hòa, và các trường hợp thuộc thẩm quyền cá nhân các thành viên của Ủy ban Chấp hành Trung ương Liên Xô, Hội đồng Dân ủy Liên Xô, Chánh án và thành viên Tòa án Tối cao Liên Xô, Kiểm sát viên Liên Xô, Phó và trợ lý cấp cao.

Chánh án Tòa án Tối cao và các thành viên của Tòa án Tối cao do Đoàn Chủ tịch Ủy ban Chấp hành Trung ương Liên Xô bổ nhiệm và miễn nhiệm. Hội nghị toàn thể Tòa án Tối cao bao gồm bốn chánh án của các Tòa án Tối cao các nước cộng hòa Liên bang và chủ tịch Tổng cục chính trị nhà nước thuộc Hội đồng Dân ủy Liên Xô. Ngoài ra, Tổng Kiểm sát trưởng Liên Xô hoặc phó Tổng Kiểm sát trưởng nhất thiết phải tham gia Hội nghị.

Năm 1926, Hội đồng Quân sự và Vận tải Quân sự Tòa án Tối cao Liên Xô đã bị bãi bỏ, và Tòa án tối cao Liên Xô đã được tuyên bố là tòa giám đốc thẩm đối với các vụ án do Tòa án Quân sự xét xử; trong cùng năm đó, việc giải thích luật pháp toàn Liên bang được đặt trong thẩm quyền của Tòa án Tối cao.

Vào ngày 24 tháng 7 năm 1929, Ủy ban Chấp hành Trung ương Liên Xô và Hội đồng Dân ủy Liên Xô đã thông qua một Quy định mới về Tòa án Tối cao Liên Xô và Viện Kiểm sát Tòa án tối cao Liên Xô, đặc biệt, đã trao cho Tòa án tối cao Liên Xô về sáng kiến ​​lập pháp và nghĩa vụ giải thích các luật của Liên bang theo đề nghị của Ủy ban Chấp hành Trung ương Liên Xô và theo yêu cầu của Hội đồng Dân ủy Liên Xô.

Năm 1931, Tòa án thẩm Vận tải Tòa án Tối cao Liên Xô đã được thành lập và là một thành phần mới của các phiên họp toàn thể của Tòa án đã được xác định - Chủ tịch Tòa án Tối cao Liên Xô, phó chủ tịch Tòa án Tối cao Liên Xô, Chủ tịch Hội nghị toàn thể Tòa án Tối cao Cộng hòa Liên bang, chủ tịch Ban cán sự Tòa án tối cao Liên Xô và bốn thành viên được chỉ định bởi Đoàn chủ tịch Ủy ban Chấp hành Trung ương Liên Xô, bao gồm một đại diện của Tổng cục chính trị nhà nước Liên Xô.

Năm 1935, Hiến pháp Liên Xô đã được sửa đổi, điều này cũng liên quan đến các vấn đề của Tòa án Tối cao Liên Xô. Đặc biệt, cấu trúc của Tòa án đã được chỉ định. Theo luật mới, Tòa án tối cao Liên Xô gồm:

• Hội nghị toàn thể
• Đoàn Chủ tịch
• Tòa án thẩm Tư pháp và Giám sát
• Tòa án thẩm Hình sự và Dân sự
• Tòa án thẩm Quân sự
• Tòa án thẩm Vận tải
• Tòa án thẩm Vận tải thủy
• Tòa án thẩm Đặc biệt

Ngoài ra, Tòa án Tối cao đã nhận được quyền hủy bỏ trực tiếp các hoạt động tư pháp của các Tòa án tối cao của Cộng hòa Liên bang, điều này mâu thuẫn với luật pháp của Liên bang (theo các quy tắc trước đây, chỉ có thể phản đối các hoạt động chống lại Ủy ban Chấp hành Trung ương Liên Xô).

Hiến pháp Liên Xô năm 1936 đã xác định Tòa án Tối cao Liên Xô là cơ quan tư pháp cao nhất. Theo Hiến pháp, Tòa án Tối cao Liên Xô được giao nhiệm vụ giám sát các hoạt động tư pháp của các cơ quan tư pháp Liên Xô, cũng như các cơ quan tư pháp của Cộng hòa Liên bang trong giới hạn do luật pháp quy định. Tòa án Tối cao đã được Xô viết Tối cao Liên Xô bầu ra với nhiệm kỳ 5 năm và Tòa án Tối cao gồm có Chủ tịch Tòa án tối cao của các Cộng hòa Liên bang.